deepnlp项目是基于Tensorflow平台的一个python版本的NLP套装, 目的在于将Tensorflow深度学习平台上的模块,结合 最新的一些算法,提供NLP基础模块的支持,并支持其他更加复杂的任务的拓展,如生成式文摘等等。
NLP 套装模块
分词 Word Segmentation/Tokenization
词性标注 Part-of-speech (POS)
命名实体识别 Named-entity-recognition(NER)
计划中: 句法分析 Parsing, 自动生成式文摘 Automatic Summarization
算法实现
分词: 线性链条件随机场 Linear Chain CRF, 基于CRF++包来实现
词性标注: 单向LSTM/ 双向BI-LSTM, 基于Tensorflow实现
命名实体识别: 单向LSTM/ 双向BI-LSTM/ LSTM-CRF 结合网络, 基于Tensorflow实现
预训练模型
中文: 基于人民日报语料和微博混合语料: 分词, 词性标注, 实体识别
项目地址:https://github.com/rockingdingo/deepnlp